1
Le paysage de l'IA générative avancée
PolyU COMP5511Lesson 11
00:00

Le paysage de l'IA générative avancée a évolué de modèles monolithiques isolés vers un écosystème multicouche défini par les Systèmes d'IA Composés. Cette transition s'éloigne de la simple prédiction probabiliste de jetons pour se tourner vers des systèmes qui orchestrent des modèles de fondation (FMs), des plugins modulaires et la synthèse inter-modale.

Calcul / Infrastructure CloudLLMDiffusionAudio / CodeCouche d'orchestration et d'agence

La taxonomie de la pile générative

  • Couche d'infrastructure : le socle matériel (GPU/TPU) et les services cloud qui fournissent la puissance de calcul massive requise pour l'entraînement et l'inférence à haute vitesse.
  • Couche de modèles : les modèles de fondation (FMs) tels que GPT-4, Llama 3 et Stable Diffusion qui servent de moteurs spécialisés pour différentes modalités.
  • Couche d'orchestration : les frameworks qui gèrent la logique, le flux de données et la récupération, faisant passer les modèles de poids « figés » à des systèmes dotés d'une Conscience contextuelle en temps réel.

Convergence des modalités

La tendance technique vise à unifier les architectures — principalement les modèles Transformer et de Diffusion — pour permettre un espace latent partagé. Cela offre une interface unique où le texte, l'image et la vidéo sont manipulés comme un flux continu d'informations, représenté mathématiquement par une correspondance entre des variétés latentes distinctes $M_{text} \leftrightarrow M_{visual}$.

Évolution structurelle
Nous passons de modèles « à livre fermé » qui s'appuient uniquement sur les paramètres des données d'entraînement $\theta$, à des systèmes « à livre ouvert » qui utilisent l'état de l'environnement externe $E$ pour résoudre des tâches de raisonnement complexes via $P(y|x, E)$.
Implémentation Python